심층 학습/배치 정규화

이번은, 배치 정규화에 대해 정리합니다. 배치 정규화는, 학습시의 미니 배치마다 각 채널을 평균 0분산 1이 되도록 정규화하는 것으로, 학습의 안정화나 속도 업을 할 수 있는 필수의 테크닉입니다. 하지만, 이하의 약점도 있습니다. 1) 고해상도의 화상을 취급하는 것으로 메모리가 부족해 배치 사이즈가 작아지면, 평균·분산의 추정이 불안정하게 되어 잘 학습이 진행되지 않는다. 2)1)의 대책으로...

심층 학습배치 정규화